Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge
盲人摸象：探测大模型在长尾分歧知识上的认知短视
🧭 长尾分歧知识的LLM记忆完整性评估
Tsinghua University · Tencent Youtu Lab · University of Warwick
构建ElephantBench知识探针，发现最强模型也仅能完整回忆52.4%的长尾分歧答案
📌 工作参考价值（4 点）
- 在商品知识问答或客服 Agent 中，针对长尾商品属性、小众品类，仅依赖 LLM 参数记忆容易遗漏 minority 版本答案，应结合 RAG 或知识图谱做多源校验。
- 评估知识型 Agent 时，不应只看单一答案的 Exact Match，需引入多答案召回指标，以识别模型只记住主流答案而忽略分歧答案的不足。
- 可借鉴 graph-based pipeline 从低曝光语料自动挖掘分歧点，用于构建长尾场景测试集，诊断模型在业务垂直领域（如二手商品、非标品）的知识覆盖盲区。
- 训练或微调时注意 exposure imbalance：提高 minority 侧样本的曝光频率与多样性，有助于提升模型对长尾知识的完整回忆。